[2023年8月30日号]個人的に気になったModern Data Stack情報まとめ

モダンデータスタック(MDS)

#Google Cloud (GCP)

さがら

2023.08.30

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

さがらです。

Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。

そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。

※注意事項：記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。

Modern Data Stack全般

Google Cloud Next'23が開催

現地時間の2023年8月29日～2023年8月31日に、Google Cloudのカンファレンスイベントである「Next'23」が開催されます。併せて多くの新機能がパブリックプレビューになりましたね。（一部の新機能については後述します。）

オンライン向けのDigital Passならば、無料で見ることが出来ます！

また、データプロフェッショナル向けの必聴セッションについてまとめられた記事も日本語で出ています。こちらも併せてご覧ください。

弊社のDevelopersIOでもブログが今後あがっていくので、ぜひご覧ください！

Forbes：NEXT BILLION-DOLLAR STARTUPS 2023

Forbesより「NEXT BILLION-DOLLAR STARTUPS 2023」という次に評価額が10億ドルに達する可能性が高いと思われる25社のリストが出ていました。

Modern Data Stack関係でいうと、HexとHightouchが入っていますね！

「MDS FEST 2023」が開催

Secoda社、Count社、Delphi社の主催で、MDS FEST 2023が現地時間2023年8月21日～25日の間に開催されました。

各社のAnalytics Engineerだけでなく、MotherDuck社・Cube社・Dagster社などModern Data Stackの中でも新進気鋭の企業のエンジニアが多く登壇しております。

主催のSecoda社のブログにおいて、Day 1のRecapとRecordingsについての記事が公開されています。

Data Extract/Load

Fivetran

FivetranによってロードされたSAPデータ向けのdbt packageが公開

FivetranによってロードされたSAPデータ向けのdbt packageが公開されました。

FivetranのLocal Data ProcessingのSAPコネクタにも対応しているようなので、SAPのデータをすぐ分析に使える形にしたいときには役立ちそうです。

Fivetranのコストに関する解説記事

Fivetranのコストについて解説された記事が出ていました。

特に、「新しいコネクタ設定後14日間の間」や「ユーザー側で行った再同期(Re-sync)」などはMARが発生しないという、ドキュメントを読み込まないとわからない情報も含まれているので、Fivetranを利用されている方にはぜひ一度読んでいただきたい記事となっております。

FivetranのLocal Data Processingの解説記事

phData社より、FivetranでオンプレミスのデータをロードできるLocal Data Processing(LDP)についての解説記事が出ていました。

Hubやエージェントをインストールする必要はありますが、LDPにはソースデータとロード先のデータを比較(Compare)し、レコードのズレがあればRepairする機能がデフォルトで備わっていたりと、機能的にはなかなか魅力的な機能が備わっています！

Data Warehouse/Data Lakehouse

Snowflake

2023年5月～2023年7月にリリースされた新機能・Marketplaceのまとめ

Snowflake社の公式ブログで、2023年5月～2023年7月にリリースされた新機能・Marketplaceのまとめ記事が出ていました。

改めて、2023年6月にはSnowflake Summitもあったため多くの新機能がリリースされていましたね！

Marketplaceのデータも多くリリースされていますが、個人的にはCalifornia State Water Resources Control Boardというカリフォルニア州の水資源管理機関がデータを公開しているのが印象深かったです。

External Network Locationを用いたSnowflakeからBigQueryのFederated Queryの事例

現在SnowflakeでプライベートプレビューであるExternal Network Locationを用いて、SnowflakeからBigQueryのFederated Queryを行う事例記事が出ていました。

SnowflakeからBigQueryでFederated Queryを実行し、その出力をSnowflakeのウェアハウスを使用してSnowflake内の他のデータとJOINすることも出来るようです。（ただ、ネットワークコストや、BigQueryとSnowflakeどちらのリソースも使うという点は注意が必要そうです。）

BigQuery

Data Clean Roomがプレビュー

BigQueryの1機能として、Data Clean Roomがプレビューとなりました。

Analytics Hub上に構築されている機能らしく、従来のAnalytics Hubによるデータ共有よりも機密性の高いデータを共有するユースケースでは役立ちそうですね。

Duet AIがプレビュー

BigQueryに限った機能ではないですが、AIが開発や操作を支援してくれる新機能としてDuet AIがプレビューとなりました。

このDuet AIがBigQueryにも対応しており、クエリエディター上でコメント入力してクエリ生成のリクエストが出来るだけでなく、書かれてあるクエリの説明、クエリに対する修正提案、などもしてくれるようです。

BigQuery Studioがプレビュー

BigQuery Studioがプレビューとなりました。

私も公開された文面を読んだだけですが、Colab EnterpriseのNotebookを立ち上げる、Dataform上で構築したコードの管理、Dataplexによるデータ検出、などといった従来のBigQueryと特に親和性の高かった機能が1つにまとまったプラットフォームとなりそうです。

BigQuery DataFramesがプレビュー

BigQuery DataFramesがプレビューとなりました。

Python APIを介して、一部にpandasと互換性のあるDataFrameの定義・操作と、一部にscikit-learnと互換性のある機械学習のモデル構築、といったことがBigQueryのリソースを用いて出来るようです。

サンプルのNotebookもあるため、Pythonがわかる方はこちらを見るのが早いと思います！

Cross-region dataset replicationがプレビュー

BigQueryの新機能として、Cross-region dataset replicationがプレビューとなりました。

Yuta.Hさんの投稿のコメントにもありましたが、BigQueryではリージョンをまたいだJOINが出来ないので、別リージョンにあるデータセットのテーブルとJOINさせたいときなどに役立ちそうですね。

Codey APIを用いて学習させたテーブルに対するクエリを自然言語で生成するプログラムの例

Codey APIを用いて、BigQueryのサンプルデータを学習させ、その学習させたサンプルデータに対するクエリを自然言語で生成するプログラムの例が、記事として投稿されていました。

正確性など課題はありそうですが、取り組みが面白かったので本まとめで共有してみました。

MotherDuck/DuckDB

MotherDuckの用途まとめ

2023年6月に発表されたMotherDuckについて、DuckDB含めて用途をまとめた記事が公式ブログから出ていました。

オーケストレーションツールであるKestraのBlueprintを軸に、データをまとめたレポートのメール送信、マスキングなどのデータ変換処理を含むデータパイプライン、ファイルアップロードを検知してのイベント駆動型の処理、といった内容が書かれています。

開発環境にDuckDB、本番環境にMotherDuckを用いたパイプライン開発の事例

dlt(data load tool)を開発しているdlt.Hubのブログにおいて、開発環境ではローカルのDuckDB、本番環境ではクラウドのMotherDuckを用いたdltパイプライン開発の事例が出ていました。

クラウドDWHと違って、完全にローカルとクラウドで互換性のある開発環境をローカル上に構築できるのはDuckDBの強みだと思いますので、この事例はDuckDBとMotherDuckの活用方法として興味深いですね！

Data Transform

dbt

「データ基盤管理の考え方～dbtの極意～」が開催

2023/8/22に、Findy社主催で「データ基盤管理の考え方～dbtの極意～」が開催されました。

各社のdbtを用いた取り組みが知れる5つのLTがあり、登壇資料も下記のURLに掲載されています！

各種dbt packageを用いたdbt testの方法のまとめ記事

Elementaryより、dbt-coreに付随するdbt testだけでなく、dbt-utils、dbt-expectations、elementaryなどのdbt packageに付随するdbt testも含め、どのようなデータテストがdbt上で行うことが出来るかまとめた記事が出ていました。

具体的には、スキーマ変更(型変更や列の追加削除など)の検出、データの鮮度の確認、データのボリュームに関する確認、異常値の確認、独自のカスタムテストの定義、といった観点で述べられており参考になる方も多いと思います。

Semantic Layer

Cube

CubeとLangChainの統合事例

Cubeで定義したSemantic Layerの内容をVector Storeに入れ、Streamlit使ったアプリから自然言語で問い合わせをすることでCubeで定義したSemantic Layerに沿ってSQLを生成することができるアプリケーションをLangChainを用いて実装した事例がCube社のブログより出ていました。

私もDB/DWH上のデータに対するLLMがより確実な答えを返すにはSemantic Layerと組み合わせて使うのが良いだろうとは感じていたのですがまだ実装例がなかった状況でした。しかし、ここにきてCube社が初めて事例を出してきましたね！